组合推荐人(CR)系统一次在结果页面中一次将项目列表馈送给用户,其中用户行为受到上下文信息和项目的影响。 CR被称为组合优化问题,目的是最大程度地提高整个列表的建议奖励。尽管它很重要,但由于在线环境中的效率,动态和个性化要求,建立实用的CR系统仍然是一个挑战。特别是,我们将问题分为两个子问题,即列表生成和列表评估。新颖和实用的模型体系结构是为这些子问题设计的,旨在共同优化有效性和效率。为了适应在线案例,给出了形成参与者批判性增强框架的自举算法,以探索在长期用户互动中更好的推荐模式。离线和在线实验结果证明了拟议的JDREC框架的功效。 JDREC已应用于在线JD建议中,将点击率提高了2.6%,平台的合成价值提高了5.03%。我们将发布本研究中使用的大规模数据集,以为研究界做出贡献。
translated by 谷歌翻译
人类可以利用先前的经验,并从少数示威活动中学习新颖的任务。与旨在通过更好的算法设计来快速适应的离线元强化学习相反,我们研究了建筑归纳偏见对少量学习能力的影响。我们提出了一个基于及时的决策变压器(提示-DT),该变压器利用了变压器体系结构和及时框架的顺序建模能力,以在离线RL中实现少量适应。我们设计了轨迹提示,其中包含少量演示的片段,并编码特定于任务的信息以指导策略生成。我们在五个Mujoco控制基准中进行的实验表明,提示-DT是一个强大的少数学习者,而没有对看不见的目标任务进行任何额外的填充。提示-DT的表现优于其变体和强大的元线RL基线,只有一个轨迹提示符只包含少量时间段。提示-DT也很健壮,可以提示长度更改并可以推广到分布(OOD)环境。
translated by 谷歌翻译
语言模型既展示了定量的改进,又展示了新的定性功能,随着规模的增加。尽管它们具有潜在的变革性影响,但这些新能力的特征却很差。为了为未来的研究提供信息,为破坏性的新模型能力做准备,并改善社会有害的效果,至关重要的是,我们必须了解目前和近乎未来的能力和语言模型的局限性。为了应对这一挑战,我们介绍了超越模仿游戏基准(Big Bench)。 Big Bench目前由204个任务组成,由132家机构的442位作者贡献。任务主题是多样的,从语言学,儿童发展,数学,常识性推理,生物学,物理学,社会偏见,软件开发等等。 Big-Bench专注于被认为超出当前语言模型的功能的任务。我们评估了OpenAI的GPT型号,Google内部密集变压器体系结构和大型基础上的开关稀疏变压器的行为,跨越了数百万到数十亿个参数。此外,一个人类专家评估者团队执行了所有任务,以提供强大的基准。研究结果包括:模型性能和校准都随规模改善,但绝对的术语(以及与评估者的性能相比);在模型类中的性能非常相似,尽管带有稀疏性。逐渐和预测的任务通常涉及大量知识或记忆成分,而在临界规模上表现出“突破性”行为的任务通常涉及多个步骤或组成部分或脆性指标;社交偏见通常会随着含糊不清的环境而随着规模而增加,但这可以通过提示来改善。
translated by 谷歌翻译
交通预测在智能运输系统中起着不可或缺的作用,使每日旅行更方便和更安全。然而,时空相关的动态演化使得准确的流量预测非常困难。现有工作主要采用图形神经NetWroks(GNNS)和深度时间序列模型(例如,复发性神经网络),以捕获动态交通系统中的复杂时空模式。对于空间模式,GNN难以在道路网络中提取全局空间信息,即远程传感器信息。虽然我们可以使用自我关注来提取全球空间信息,如前面的工作中,它也伴随着巨大的资源消耗。对于时间模式,交通数据不仅易于识别每日和每周趋势,而且难以识别由事故引起的短期噪音(例如,汽车事故和雷暴)。现有交通模型难以在时间序列中区分复杂的时间模式,因此难以实现准确的时间依赖。为了解决上述问题,我们提出了一种新颖的噪声感知高效时空变压器架构,用于准确的交通预测,名为StFormer。 Stformer由两个组件组成,这是噪声感知的时间自我关注(NATSA)和基于图形的稀疏空间自我关注(GBS3A)。 NATSA将高频分量和低频分量与时间序列分开以消除噪声并分别通过学习滤波器和时间自我关注捕获稳定的时间依赖性。 GBS3A以基于图形的稀疏查询替换vanilla自我关注的完整查询,以减少时间和内存使用情况。四个现实世界交通数据集的实验表明,履带器优于较低的计算成本的最先进的基线。
translated by 谷歌翻译
交通预测在智能交通系统中很重要,有利于交通安全,但由于现实世界交通系统中的复杂和动态的时空依赖性,这是非常具有挑战性的。先前的方法使用预定义或学习的静态图来提取空间相关性。但是,基于静态图形的方法无法挖掘交通网络的演变。研究人员随后为每次切片生成动态图形以反映空间相关性的变化,但它们遵循独立建模的时空依赖性的范例,忽略了串行空间影响。在本文中,我们提出了一种新的基于跨时动态图形的深度学习模型,名为CDGNet,用于交通预测。该模型能够通过利用横行动态图来有效地捕获每个时切片和其历史时片之间的串联空间依赖性。同时,我们设计了稀疏横行动态图的浇注机制,符合现实世界中的稀疏空间相关性。此外,我们提出了一种新颖的编码器解码器架构,用于结合基于交叉时间动态图形的GCN,用于多步行量预测。三个现实世界公共交通数据集的实验结果表明CDGNET优于最先进的基线。我们还提供了一种定性研究来分析我们建筑的有效性。
translated by 谷歌翻译
交通预测是智能交通系统的问题(ITS),并为个人和公共机构是至关重要的。因此,研究高度重视应对准确预报交通系统的复杂的时空相关性。但是,有两个挑战:1)大多数流量预测研究主要集中在造型相邻传感器的相关性,而忽略远程传感器,例如,商务区有类似的时空模式的相关性; 2)使用静态邻接矩阵中曲线图的卷积网络(GCNs)的现有方法不足以反映在交通系统中的动态空间依赖性。此外,它采用自注意所有的传感器模型动态关联细粒度方法忽略道路网络分层信息,并有二次计算复杂性。在本文中,我们提出了一种新动态多图形卷积递归网络(DMGCRN),以解决上述问题,可以同时距离的空间相关性,结构的空间相关性,和所述时间相关性进行建模。那么,只使用基于距离的曲线图来捕获空间信息从节点是接近距离也构建了一个新潜曲线图,其编码的道路之间的相关性的结构来捕获空间信息从节点在结构上相似。此外,我们在不同的时间将每个传感器的邻居到粗粒区域,并且动态地分配不同的权重的每个区域。同时,我们整合动态多图卷积网络到门控重复单元(GRU)来捕获时间依赖性。三个真实世界的交通数据集大量的实验证明,我们提出的算法优于国家的最先进的基线。
translated by 谷歌翻译
由于流量大数据的增加,交通预测逐渐引起了研究人员的注意力。因此,如何在交通数据中挖掘复杂的时空相关性以预测交通状况更准确地成为难题。以前的作品组合图形卷积网络(GCNS)和具有深度序列模型的自我关注机制(例如,复发性神经网络),分别捕获时空相关性,忽略时间和空间的关系。此外,GCNS受到过平滑问题的限制,自我关注受到二次问题的限制,导致GCN缺乏全局代表能力,自我注意力效率低下捕获全球空间依赖性。在本文中,我们提出了一种新颖的交通预测深入学习模型,命名为多语境意识的时空关节线性关注(STJLA),其对时空关节图应用线性关注以捕获所有时空之间的全球依赖性节点有效。更具体地,STJLA利用静态结构上下文和动态语义上下文来提高模型性能。基于Node2VEC和单热编码的静态结构上下文丰富了时空位置信息。此外,基于多头扩散卷积网络的动态空间上下文增强了局部空间感知能力,并且基于GRU的动态时间上下文分别稳定了线性关注的序列位置信息。在两个现实世界交通数据集,英格兰和PEMSD7上的实验表明,我们的Stjla可以获得高达9.83%和3.08%,在最先进的基线上的衡量标准的准确性提高。
translated by 谷歌翻译
搅拌是痴呆症患病率高的神经精神症状之一,可以对日常生活(ADL)的活动产生负面影响,以及个体的独立性。检测搅拌剧集可以帮助提前及时地提供痴呆症(PLWD)的人们。分析搅拌剧集还将有助于识别可修改的因素,例如环境温度和睡眠中的睡眠,导致个体搅动。这项初步研究提出了一种监督学习模型,用于分析PLWD中搅动风险,使用家庭监控数据。家庭监控数据包括来自2019年4月2021年4月至6月至6月20日至6月20日至6月至6月间PLWD的运动传感器,生理测量和厨房电器的使用。我们应用经常性的深度学习模型,以识别验证和记录的临床监测团队验证和记录的搅拌集团。我们提出了评估拟议模型的功效的实验。拟议的模型平均召回79.78%的召回,27.66%的精确度和37.64%的F1分数在采用最佳参数时得分,表明识别搅动事件的良好能力。我们还使用机器学习模型讨论使用连续监测数据分析行为模式,并探索临床适用性以及敏感性和特异性监控应用之间的选择。
translated by 谷歌翻译
Future work sentences (FWS) are the particular sentences in academic papers that contain the author's description of their proposed follow-up research direction. This paper presents methods to automatically extract FWS from academic papers and classify them according to the different future directions embodied in the paper's content. FWS recognition methods will enable subsequent researchers to locate future work sentences more accurately and quickly and reduce the time and cost of acquiring the corpus. The current work on automatic identification of future work sentences is relatively small, and the existing research cannot accurately identify FWS from academic papers, and thus cannot conduct data mining on a large scale. Furthermore, there are many aspects to the content of future work, and the subdivision of the content is conducive to the analysis of specific development directions. In this paper, Nature Language Processing (NLP) is used as a case study, and FWS are extracted from academic papers and classified into different types. We manually build an annotated corpus with six different types of FWS. Then, automatic recognition and classification of FWS are implemented using machine learning models, and the performance of these models is compared based on the evaluation metrics. The results show that the Bernoulli Bayesian model has the best performance in the automatic recognition task, with the Macro F1 reaching 90.73%, and the SCIBERT model has the best performance in the automatic classification task, with the weighted average F1 reaching 72.63%. Finally, we extract keywords from FWS and gain a deep understanding of the key content described in FWS, and we also demonstrate that content determination in FWS will be reflected in the subsequent research work by measuring the similarity between future work sentences and the abstracts.
translated by 谷歌翻译
Users' involvement in creating and propagating news is a vital aspect of fake news detection in online social networks. Intuitively, credible users are more likely to share trustworthy news, while untrusted users have a higher probability of spreading untrustworthy news. In this paper, we construct a dual-layer graph (i.e., the news layer and the user layer) to extract multiple relations of news and users in social networks to derive rich information for detecting fake news. Based on the dual-layer graph, we propose a fake news detection model named Us-DeFake. It learns the propagation features of news in the news layer and the interaction features of users in the user layer. Through the inter-layer in the graph, Us-DeFake fuses the user signals that contain credibility information into the news features, to provide distinctive user-aware embeddings of news for fake news detection. The training process conducts on multiple dual-layer subgraphs obtained by a graph sampler to scale Us-DeFake in large scale social networks. Extensive experiments on real-world datasets illustrate the superiority of Us-DeFake which outperforms all baselines, and the users' credibility signals learned by interaction relation can notably improve the performance of our model.
translated by 谷歌翻译